Objetivo de la clase

• Compilar via Jupiter Notebooks em: https://github.com/pchiroque/NLP/;

• Desenvolveremos un proyecto completo;

• Referencia: (Bird, Klein, and Loper 2009)

Organización

• Que es Procesamiento de Lenguaje Natural? dentro de Ciencia de Datos;

• Pasos: Mineria de textos / Exploración Análisis / Técnicas de PLN

Que es Procesamiento de Lenguaje Natural?

• Que es Lenguaje Natural?

• Idioma Ruso (es un leguaje natural)

• Idioma Frances (es un leguaje natural)

• Lenguaje Español (es un leguaje natural)

• Lenguaje Python (no es un leguaje natural)

Que es Procesamiento?

• Como el computador hace posible el procesamiento de estas lenguajes naturales.

El Procesamento de Lenguaje Natural (PLN)

• Subárea da Inteligencia Artificial (IA)

• Estudia las capacidades/limitaciones de uma máquina em entender a linguagem dos seres humanos.

• Objetivo del PLN dar a los computadores la capacidade de entender y componer textos (Audios).

Ejemplos

Exemplos

Como crear programas capaces de interpretar mensajes codificadas en lenguaje natural e decifrarlas para a lenguage de máquina?

• Para modelar el lenguaje y hacer posible que la maquina entienda

• Procesamientos:

  • Extraer
  • Estructurar el lenguaje
  • Reducir la información (Menos espacidad)

Hacer

• Normalización-Tokenización: Segmentación de palavras, quiebra de la sequencia de caracteres em um texto localizando.

• Linguística computacional: las palabras identificadas son frequentemente denominadas de tokens.

• Transformación de letras mayúsculas para minúsculas

• Retirar remoção de caracteres especiais

• Retirar tags HTML/Javascript/CSS, otros

PLN usando Python

• Programar: Usando datos PLN via : pandas, sklearn, re nltk, TextBlob, gensim

• Matemática y estadística: Mineración, exploración y análisis de datos via:
  

• Corpus, diseñar la matriz de terminos

• Contar palabras

• Análisis de sentimientos

• Modelamiento

• Generación de textos

• Comunicación diseñar un dominio: Visualización, extracción de conclusiones.

fluxo de trabajo del cientista de datos

• Pregunta inicial;

• Colectar los datos y hacer mineración de datos;

• Explorar y analisar datos (EDA);

• Aplicar técnicas;

• Compartir resultados.

Pregunta inicial: Turismo em Rio de Janeiro

Pregunta inicial: Música

Colectar los datos y hacer mineración de datos

• import pandas as pd: manter os dados em data frame

limpar

• text = \(text.lower()\): convertir em minuscula,

• text = \(re.sub('\[.*?\]', '', text)\) remove text in square brackets

• text = \(re.sub('[%s]' % re.escape(string.punctuation), '', text)\) : remove punctuation

• text = \(re.sub('\w*\d\w*', '', text)\): remueve alfa-numericas caracteres.

Colocar en una matriz: (Document-Term Matrix)

• El texto en pequeñas partes Tokenized (quebrar el texto).

• En python scikit-learn’s CountVectorizer,

• Una columna por palabra

• Con CountVectorizer podemos remover por ejemplo: ‘a,’ ‘the,’ etc.

Mineração de dados em python

• data_mining.ipynb

EDA - Aplicar técnicas

• Exploratory_Data_Analysis.ipynb

• Topico_Modelos.ipynb

Compartir resultados

• Generacion_Textos.ipynb

Chantaje : Maluma + Shakira

Código

• https://pchiroque.github.io/NLP/RioCode.ipynb

Aprendimos

• Tópicos básicos de Procesamiento de lenguaje natural

Gracias

• Preguntas?

Contact information

pamela@dme.ufrj.br